查找引擎抓取页面内容是经过网络蜘蛛，蜘蛛经过页面中的文本连接遍历网站web页面，web 过超级文本恳求html文档并拜访web站点页面，使用html言语符号、标签规划来查找信息，获取其他指向其他页面的超文本url途径。
    html标签一般分为以下几类：文本、注释、标签。页面中除掉标签，一切数据都能够当作文本，由标签所围住和操控。html标签反映了页面的层次信息，包含了内容规划（经过标签剖析文档的规划）、显现作用（字体、色彩、阶段区分）和语义信息（文本、多媒体、连接），因而咱们要确保数据在文本之内和而脚本代码大概尽能够与网站标签别离，便利查找引擎蜘蛛对脚本代码和数据文本辨认并做好有关语义化规划剖析。
    经过对页面的html言语规划处置，查找引擎会构建页面规划Dom树（供给的拜访XML文档信息的前言是一种分层目标模型，在对XML文档进行剖析之后，不论文档简略、杂乱，都把其间的信息都会被转化成一棵目标节点树），页面嵌套层次越深，标签和内容越来越多，当浏览器无法批改标签时，就会“将某个过错块内的一切标签悉数去掉，仅保存内容”。解析Dom时不会更改页面html代码文件，仅仅对页面进行解析，这也是为何页面html过错需要去验证，而浏览器选用的主动修正和兼容性方法，因而不验证发现不了过错，并且在解析过程中会对剩余的标签和特点进行铲除，无法批改和铲除的将会主动除掉，这即是浏览器的“收拾形式”。一般来说其次这种树形规划也是根据标签的根底（标签与标签区分一个区域，标签之间并排或许彼此嵌套形成了页面文件的树形规划），查找引擎蜘蛛经过经过对页面不相同的标签对页面进行分块。
    页面的Dom树与页面的分块紧密联系，其间html标签、视觉信息对页面进行分块的主要依据，相应从连接剖析和内容文本中抓取和辨认主题，页面的不相同主题和内容之间的分块也能够经过标签和连接来进行信息构建，这即是web规区分块算法，查找引擎在解析是更着重“内容块”的概念，即一个标签一个块。查找引擎解析构建dom树时，当解析发作过错（标签不匹配）就会启用收拾形式，但修正过错能够仅仅关于块为单位，即查找过错块节点的上一级节点（上一级过错，持续查找上一级），若是上一级没有过错，那么块内一切子块与儿孙块的标签悉数除掉。所以网站规划契合web规划规划标准代码标准，这样查找引擎蜘蛛才干非常好的对网站主题进行辨认，经过对主题的辨认和分类，然后提升了咱们网站关键词排行。
    从查找引擎的视点来讲，在剖析内容之前条件也会像浏览器相同要先构建一棵完好的dom树，只有当这棵树构建完结，查找引擎才干断定页面中上下文的联系，才不会致使页面板块权重发作偏移，当页面节点层次较多时，要注意标签的层次过错，越挨近顶层的节点越要注意，特别是完毕标签，关于搜索引擎优化的影响是丧命的，其次页面节点越少越好，一方面减少了查找引擎解析节点担负，其次有利于查找引擎更简单断定节点上下文联系和对关键词进行加权处置。
    其次web规划页面规划需求规划（html）和体现(css)别离，当标签的特点能用css代替时，则尽能够移到css中去，这样不只缩减了页面文件大小，提高了蜘蛛索引和抓取网站页面的功率，并且关于页面主题的辨认，以及页面内容的分块，和网站权重规划优化等方面都有重要意义。